低 rank 適應 (LoRA)
low-rank adaptation
自然言語處理における重要なパラダイムとして、汎用ドメインデータを用いた大規模事前學習と、特定タスクやドメインへの適應といふ二段階のプロセスが擧げられる。モデルの規模が擴大するにつれ、全てのパラメータを再學習する完全ファインチューニングは實行可能性が低下する。GPT-3 175B を具體例として擧げると、175B ものパラメータを持つファインチューニング濟みモデルを個別に展開するコストは法外に高くなる。そこで本硏究では、低 rank 適應 (LoRA) (Low-Rank Adaptation : LoRA) を提案する。LoRA では、事前學習濟みモデルの重みを固定したまま、Transformer アーキテクチャの各層に學習可能なランク分解行列を注入することで、下流タスクに必要な學習パラメータ數を大幅に削減する。Adam オプティマイザーを用ゐた GPT-3 175B の完全ファインチューニングと比較して、LoRA では學習パラメータ數を 1 萬分の 1 に、GPU メモリ要件を 3 分の 1 に低減可能である。LoRA は、學習パラメータ數が少なく、學習處理のスループットが高く、かつアダプターとは異なり推論時の遲延が發生しないにもかかはらず、RoBERTa、DeBERTa、GPT-2、GPT-3 といったモデルにおいてファインチューニングと同等の、あるいはそれ以上の性能を發揮する。さらに、言語モデル適應におけるランク不足の問題に關する實證的硏究を行ひ、LoRA の有效性を明らかにする。我々は PyTorch モデルへの LoRA 統合を容易にするパッケージを公開するとともに、RoBERTa、DeBERTa、GPT-2 向けの實裝コードとモデルチェックポイントをこのHTTPS URLで提供する。 AdaLoRA
QLoRA
IA³
Prefix / Prompt Tuning
DoRA